Đức Công cư trú trên cù lao Ngư Lương giữa sông Miện tại phía nam Hiện Sơn , chưa từng vào thành phủ, tự canh tác ruộng vườn, vợ chồng đãi nhau như khách; lúc nghỉ ngơi thì đội khăn chỉnh tề, ngồi ngay ngắn để gảy đàn đọc sách làm vui, sắc mặt nghiêm túc .

Đức Công cùng các danh sĩ Tương Dương là Tư Mã Huy, Bàng Thống có quan hệ thân thiết, thường xuyên tụ họp, bơi thuyền chơi sông, không vướng bận gì, tùy tiện sướng thích . Đức Công gọi Tư Mã Huy là Thủy Kính, Gia Cát Lượng là Ngọa Long, Bàng Thống là Phượng Sồ . Có lần Tư Mã Huy đến nhà Đức Công, gặp lúc ông đi vắng, Huy cho biết sắp có khách đến chơi, thúc giục vợ con của Đức Công làm cơm, khiến họ một phen vất vả. Đức Công trở về, vào thẳng nhà trong gặp Tư Mã Huy, không phiền lòng chút nào, chẳng hề phân biệt chủ – khách . Tư Mã Huy nhỏ hơn Đức Công 10 tuổi, thờ ông làm anh, thường gọi là Bàng Công. Vì thế người đời lầm rằng "Công" là tên của Đức Công . Gia Cát Lượng mỗi lần đến nhà Đức Công, đều vái lạy kính cẩn . Bàng Thống là cháu họ của Đức Công, thiếu thời chưa nổi danh, chỉ có ông xem trọng ông ta. Tư Mã Huy sau khi nói chuyện với Thống, hết lời khen ngợi Đức Công biết nhìn người .

Kinh Châu mục Lưu Biểu nhiều lần mời gọi mà không được, bèn đích thân đến gặp, vẫn không thể thuyết phục Đức Công, đành thất vọng quay về . Về sau Đức Công đưa vợ con lên núi Lộc Môn, người đời không gặp lại ông nữa .